github.com/nacmarino/maR

Recapitulando

  • Revisão Sistemática: "é uma síntese da pesquisa disponível em um tópico precisamento definido, usando métodos explícitos para identificar, selecionar, avaliar criticamente, e analisar os resultados relevantes". (Koricheva et al, 2013)

  • Meta-Análise: "é a análise estatística de uma ampla coleção de resultados de estudos com o propósito de integrar a evidência disponível". (Glass, 1976)

  • Uma meta-análise é um componente opcional da revisão sistemática.

Extração de Dados

  • É uma das partes mais importantes de uma revisão sistemática - se não a parte mais importante;
  • O tempo gasto aqui é o tempo que você nao vai gastar no futuro;
  • Gaste tempo planejando:
    • O(s) critério(s) de inclusão para a extração de dados.
    • As informações que precisam ser extraídas de cada estudo.
    • O formato que cada variável extraída vai assumir na base de dados.
  • Documente todas as decisões e escolhas.

Fluxograma de Trabalho

Critério de inclusão para a extração

  • A lista de artigos que segue para a extração vem a partir dos critérios de busca que você vai usar.
  • O critério de busca inicial e a sua pergunta já estabelecem algumas diretrizes para o critério de extração de dados.
  • Algumas perguntas relevantes:
    • Que tipo de variável resposta será aceita?
    • Você quer estudos observacionais e/ou experimentais?
    • Que tipo de manipulação experimental será aceita (presença ou ausência, concentração, intervenção ativa,…)?
    • Como lidar com dados que estão faltando no estudo?
    • Como lidar com estudos publicados múltiplas vezes?
  • Documente todas as decisões e escolhas.

Para os trabalhos que forem incluídos…

  • Documente todas as decisões e escolhas:
    • Faça uma lista de todos os trabalhos vistos, com o status e informações relevantes de cada um deles, que os levaram a ser aceitos ou rejeitados.
  • Cada dado extraído deve receber um número de identificação.
  • Cada linha recebe as informações de uma única observação.
  • Em cada coluna, apenas um tipo de dado.
id_estudo autor ano revista entra observacao
1 Fulano et al 2013 Vovo Mafalda sim cumpre requisitos
2 Beltrano 2014 Tio Patinhas sim cumpre requisitos
3 Primano 2016 Turma da Monica sim informacoes no SM
4 Hermano et al 2010 Mickey sim multiplos niveis do tratamento
5 Ciclano & Juvano 2010 Galvalandia nao experimento nao replicado

Que informações extrair?

  • O tipo de informação a ser extraída depende da natureza da sua pergunta:
    • Informações básicas sobre o estudo: localidade, coordenadas, clima,…
    • Outras informações sobre o estudo: tamanho da área amostrada, tipo de ecossistema, forma de amostragem, espécies envolvidas,…
    • Informações sobre a manipulação de interesse: desenho aditivo ou substitutivo, níveis da manipulação, espécies adicionadas,…
    • Dados quantitativos: médias, erros, tamanho amostral
    • Outras informações relevantes

Mas o que são informações relevantes?

  • Na sua cabeça…"tudo pode ser potencialmente importante, e tudo influencia tudo".
    • Mas por quê x, y ou z podem ser importantes?
    • Como você espera que a influencie b?
  • Foque na sua pergunta - a partir dela, você vai ter noção do que é importante extrair.
  • Você está testando uma hipótese…o que a literatura diz sobre ela?
  • Que outros corpos de teoria podem indicar quais informações são importantes?
  • Estar familiarizado com a área que você está revisando é fundamental.

Algumas decisões que você vai ter que tomar…

  1. Quando variáveis resposta para um mesmo estudo forem correlacionadas, qual delas você vai preferir?
  2. Quando os dados forem apresentados em diferentes tempos, qual deles você vai usar?
  3. Se houverem múltiplos níveis de um tratamento, qual você vai usar?
  4. Como você encara múltiplas observações a partir do mesmo estudo?
  5. Como você encara dados do mesmo experimento/localidade apresentados em múltiplos estudos?
  6. Se o estudo for multifatorial, como você extrai os dados do controle e tratamento?

Como registrar cada informação?

id_estudo pais especie manipulacao concentracao_n concentracao_p
1 Brasil araucaria angustifolia np 50 50
2 Patopolis theobroma cacao n 50 0
3 Sao Paulo handroanthus albus n 50 0
4 Disneylandia cecropia hololeuca np 25 100

Dados quantitativos

  • É a parte da extração de dados que consumirá mais tempo.
  • Importante registrar de onde veio cada dado extraído para a meta-análise.
  • Médias
  • Erro
  • Tamanho da Amostra
  • Boxplot
id_estudo media_controle erro_controle n_controle tipo_erro_controle media_tratamento erro_tratamento n_tratamento tipo_erro_tratamento boxplot
1 10 3.2 12 se 18 2.5 12 se nao
2 6 2.1 10 sd 12 0.9 10 sd sim
3 8 1.9 14 ci 10 1.5 14 ci nao
4 20 0.4 20 se 21 0.6 20 se nao

Como tirar dados de boxplot?

  • Hozo et al, 2005, BMC Medical Research Technology, Estimating the mean and variance from the median, range, and the size of a sample
# a: mínimo; m: mediana; b: máximo; n: tamanho da amostra
box_size <- function(a,m,b,n) {
  mn_small <- (a+2*m+b)/4
  mn_with_n <- (a+2*m+b)/4+(a-2*m+b)/(4*n)
  s <- sqrt((a*a+m*m+b*b+(n-3)*((a+m)^2+(m+b)^2)/8-n*mn_small*mn_small)/(n-1))
  s_form <- ((((a-(2*m)+b)^2)/4)+((b-a)^2))/12
  sd_form <- sqrt(s_form)
  s_range_4 <- (b-a)/4
  s_range_6 <- (b-a)/6
  sample_size <- n
  median_data <- m
  calculated <- c(mn_small, mn_with_n, median_data, s, s_form, sd_form, s_range_4, s_range_6, sample_size)
  names(calculated) <- c("Mean", "Mean with n", "Median", "SD with n", 
                         "Variance", "SD", "Range 4", "Range 6", "Sample Size")
  return(calculated)
}

Para a média a partir do boxplot

  • Se o n < 25:
mn_small <- (a+2*m+b)/4
  • Se o n > 25:
  mn_with_n <- (a+2*m+b)/4+(a-2*m+b)/(4*n)

Para a variância a partir do boxplot

  • Se o n < 15
s_form <- ((((a-(2*m)+b)^2)/4)+((b-a)^2))/12
sd_form <- sqrt(s_form)
  • Se o 15 < n < 70
s_range_4 <- (b-a)/4
  • Se o n > 70
s_range_6 <- (b-a)/6

E se houver mais de uma observação para um mesmo estudo?

id_estudo autor ano revista entra observacao pais especie manipulacao concentracao_n concentracao_p
1 Fulano et al 2013 Vovo Mafalda sim cumpre requisitos Brasil araucaria angustifolia np 50 50
2 Beltrano 2014 Tio Patinhas sim cumpre requisitos Patopolis theobroma cacao n 50 0
3 Primano 2016 Turma da Monica sim informacoes no SM Sao Paulo handroanthus albus n 50 0
4 Hermano et al 2010 Mickey sim multiplos niveis do tratamento Disneylandia cecropia hololeuca np 25 100
4 Hermano et al 2010 Mickey sim multiplos niveis do tratamento Disneylandia cecropia hololeuca n 25 0

Devemos dividir esforços?

  • Se você é desconfiado, cricri, ou gosta de carregar o mundo nas costas, não.
  • Se você acredita nos outros, sabe o valor de trabalhar em equipe, ou quer agilizar o processo, sim.
  • No fim das contas, a escolha depende do tamanho da meta-análise e das pessoas disponíveis para ajudar.
  • É importante registrar quem extraiu os dados de que trabalho.
  • Existe um método para determinar o grau de concordância entre revisores.

Kappa assessment

  • Observado: grau de concordância entre dois revisores.
    Aceito Rejeitado Total
    Aceito 35 20 55
    Rejeitado 5 9 14
    Total 40 29 69
  • Esperado ao acaso: (\(\Sigma\)Linha * \(\Sigma\)Coluna)/\(\Sigma\)Total
    Aceito Rejeitado Total
    Aceito 31.88 23.11 55
    Rejeitado 8.11 5.88 14
    Total 40.00 29.00 69
  • Número de vezes em que ambos concordaram:
    • Observado: 35 + 9 = 44
    • Ao acaso: 31.88 + 5.88 = 37.76

Kappa assessment

  • K = (concordância observada - concordância esperada)/(numero total de observacoes - concordânca esperada)
(44 - 37.76)/(69 - 37.76)
## [1] 0.1997439
  • Baixa concordância entre revisores merece atenção.

  • Documente todas as decisões e escolhas, e relate:
    • se extração de dados foi feita por uma única pessoa ou uma equipe;
    • se feito por uma equipe, como você lidou com um possível viés individual.